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摘 要 : 环境 光 遮 蔽 是 一 种 常用 于 计算 机 游戏 以 及 可 视 化 领域 的 低频 全 局 光照 模拟 算法 。 已 有 的 基于 屏幕 空间 的 环境 
光 和 遮蔽 计算 方法 虽然 保证 了 计算 的 实时 性 ， 但 是 存在 估计 失真 以 及 细节 丢失 等 难以 解决 的 问题 。 针 对 该 问题 ， 提 出 了 
一 种 结合 低频 光线 追踪 采样 以 及 蒙特 卡 罗 去 噪 的 算法 框架 对 环境 光 遮 项 进行 实时 计算 。 为 了 解决 传统 蒙特 卡 洛 去 品 算 
法 无 法 实时 处 理 的 问题 ， 提 出 了 一 种 基于 卷 积 神经 网 络 的 蒙特 卡 罗 去 噪 算 法 ， 并 针对 问题 对 网 络 结构 进行 了 改进 和 优 
化 。 验 证 实验 证 明基 于 卷 积 神经 网 络 的 方法 能 够 对 环境 光 遮 蔽 的 去 噪 问题 进行 准确 的 处 理 ， 同 时 对 卷 积 网 络 的 改进 在 
保持 精度 的 基础 上 显著 地 提高 了 计算 效率 。 对 比 实验 显示 了 所 提 算 法 在 保持 与 高 频 采 样 光线 追踪 算法 相近 效果 的 前 提 
下 可 达到 与 基于 屏幕 空间 环境 光 人 遮蔽 计算 方法 相近 的 每 秒 数 百 帧 计算 效率 。 
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Convolution neural network based real-time ambient occlusion computing 
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Abstract: Ambient occlusion is widely used in real time rendering for computing visibility of ambient light, especially in 
computer game and visualization domains. Although existing screen-space solutions can provide real time performance, they 
cannot generate accurate results and preserve details. This paper proposed a new solution based on Monte-Carlo ray tracing. To 


achieve real time performance, this method sampled the visibility of each pixel with sparse rays and then denoised the ray tracing 


results with a convolutional neural network (CNN) . To meet the real-time requirement of ambient occlusion computing, the 
algorithm further improved and optimized the network structure. Experimental results show that proposed method not only 
achieves the real time performance but also produces more accurate and detailed results. 
Key words: ambient occlusion; Monte Carlo denoise; convolution neural network; screen space; auto encoder 

28 T FERAS BOGOUS ONE FIT SEN IECUR P, Mittring “提出 
了 基于 屏幕 空间 的 环境 光 遮 蔽 计算 方法 。 该 方法 首先 通过 光栅 
环境 光 遮 珊 是 图 形 学 领域 中 一 种 经 常用 的 低频 全 局 光 ”化 演 染 管线 获得 屏幕 空间 的 像素 深度 信息 ， 与 一 定 半径 范围 内 
照 模型 , 由 Landis" 在 2002 年 提出 。 其 计算 方法 为 对 于 物体 表 ”的 相 邻 像素 计算 遮挡 关系 ， 从 而 获得 近似 的 环境 光 人 遮蔽 计算 结 
面 上 任意 一 点 ， 统 计 以 该 点 为 中 心 一 定 半 径 内 的 上 半球 面 区域 。 果 。 通 过 在 二 维 的 屏幕 空间 进行 采样 , 极 大 地 节约 了 计算 开销 ， 
中 的 遮挡 区 域 与 非 遮挡 区 域 的 比例 ， 从 而 获得 该 点 受到 全 局 光 ”使 得 实时 计算 环境 光 让 项 成 为 可 能 。 针 对 其 效果 有 限 的 问题 ， 
照 强 度 的 强 弱 。 由 于 该 模型 计算 方法 简单 且 效 果 逼 真 ， 常 被 应 ”随后 Bavoil 等 人 "的 研究 引入 了 屏幕 空间 的 法 向 量 , 使 得 采样 
用 于 计算 机 游戏 以 及 计算 机 可 视 化 等 领域 。 传 统 地 ， 获 得 场景 ”过 程 更 加 准确 。Bavoil ”和 李 文 耀 等 人 ”为 了 解决 失真 和 细节 
中 的 几何 遮挡 关系 需要 结合 光线 追踪 以 及 蒙特 卡 罗 采 样 法 对 三 ”丢失 等 问题 ， 引 入 了 多 尺度 环境 光 遮 蔽 计算 方法 。 本 质 上 讲 ， 
佳 空间 进行 数 百 次 采样 ,计算 过 程 需要 耗费 大 量 的 资源 和 时 间 。 ”基于 屏幕 空间 是 利用 一 个 光栅 化 的 二 维 投影 平面 结果 估计 对 应 
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录用 稿 HAR, s ara GANA ME RM 
的 三 维 空间 结构 和 关系 ， 进 而 计算 对 应 的 环境 光 遮 蔽 结果 。 该 。 入 ， 通 过 卷 积 神经 网 络 对 无 噪声 的 结果 进行 回归 和 预测 ， 以 高 
问题 是 一 个 典型 的 病态 问题 。 一 些 相 似 地 基于 场景 理解 和 分 析 ”质量 的 环境 光 谈 蔽 结果 为 输出 。 同 时 ， 针 对 实时 性 的 要 求 ， 对 
的 工作 表明 *"， 解 决 该 类 问题 仍然 是 具有 挑战 性 的 。 另 外, 该 。” 卷 积 神经 网 络 结构 进行 了 进一步 地 优化 ， 提 出 双 路 独立 编码 和 
问题 对 实时 性 要 求 进一步 限制 了 所 用 方法 的 计算 开销 。 因 此 ， ” 选择 跳跃 连接 等 改进 。 另 外 ， 对 卷 积 神经 网 络 的 参数 和 优化 方 
奈 于 屏幕 空间 的 算法 难以 避免 地 会 存在 估计 不 准确 和 失真 等 问 ”法 也 进行 详细 的 讨论 。 为 了 训练 目标 网 络 ， 从 场景 数据 集中 通 
题 。 过 物理 泻 染 的 方法 获得 大 量 的 训练 和 测试 数据 。 

本 文 的 研究 基于 一 个 重要 的 观测 ， 基 于 光线 追踪 的 计算 方 验证 实验 表明 了 基于 卷 积 神经 网 络 的 方法 求解 该 问题 的 
法 即使 在 采样 率 有 限 的 情况 下 ， 虽 然 包含 了 大 量 的 采样 噪声 ， ” 效 性 ， 同 时 说 明了 针对 该 问题 对 网 络 结果 和 参数 设计 所 做 改进 
亦 能 较为 准确 地 表达 和 估计 大 体 的 环境 光 遮 项 结果 。 如 果 能 够 。 ”的 合理 性 。 与 基于 光线 追踪 和 屏幕 空间 的 环境 光 遮 机 的 对 比 实 
将 其 包含 的 噪声 进行 噜 除 ， 即 可 获得 质量 较 高 且 对 环境 光 遮 珊 。“” 验 表明 ， 所 提 方 法 不 仅 具 有 光线 追踪 方法 在 高 采样 率 下 的 准确 
估计 准确 的 计算 结果 。 因 此 ， 本 文 将 该 问题 转换 为 实时 蒙特 卡 。” 度 以 及 细节 还 原 度 ， 同 时 还 达到 了 每 秒 数 百 帧 的 效率 ， 满 足 了 
罗 采 样 去 噪 问题 进行 处 理 。 蒙 特 卡 罗 去 噪 问题 是 图 像 去 噪 中 的 。 ”实时 计算 的 要 求 。 

个 研究 分 支 ， 则 在 对 图 形 学 泻 染 领域 中 使 用 蒙特 卡 罗 采 样 方 
法 引起 的 图 像 噪声 进行 去 除 和 抑制 。 一 些 早期 的 关注 该 问题 的 。 1 ”算法 流程 
研究 包括 Rushreier 等 人 "以 及 Mocoo1” 的 工作 ， 主 要 使 用 了 本 文 提出 了 一 种 全 新 的 将 基于 光线 追踪 计算 的 低 采 样 率 下 
uod. xi e a 环境 光 谈 蔽 与 蒙特 卡 罗 去 咒 相 结合 的 计算 方法 。 其 整体 的 算法 
ee atta a 流程 如 图 1 所 示 。 算 法 的 前 半 部 分 与 传统 使 用 光线 追踪 计算 环 
en we 境 光 遗 蔽 的 方法 相似 。 以 场景 的 几何 信息 和 待 计算 的 视点 为 输 
TOC dun uS li í 入 ， 首 先 通 过 视点 像素 与 物体 表面 进行 求 交 判断 ， 获 得 像素 点 
下 了 人 人 于。 与 物体 表面 的 精确 交点 随后 对 以 各 像素 对 应 的 物体 表面 点 为 
多 个 联合 滤波 器 的 权重 调整 困难 问题 ，Kalantari 等 人 “提出 中 心 的 上 半球 面 进 行 蒙特 卡 罗 采 样 。 与 传统 方法 重复 数 百 次 采 
了 使 用 一 个 多 层 感知 机 对 系数 进行 自动 调整 的 想法 。 该 类 研究 。 样 过 程 不 同 ， 本 文 仅 对 各 像素 进行 4 次 采样 。 随 后 将 该 初步 计 
与 本 文 相 比 ， 一 个 重要 的 区 别 是 算法 对 计算 设备 和 响应 时 间 的 。 算 的 低 采样 率 的 环境 光 造 殴 计 算 结果 作为 芝 特 卡 罗 去 品 算 法 的 
要 求 不 同 。 传 统 的 应 用 于 视觉 特效 泻 染 的 蒙特 卡 罗 采 样 方法 SOL BIER ICE MOS PERLE EROR BE, 
un o 算法 的 整体 计算 时 间 7 由 低频 采样 计算 开销 T 和 蒙特 卡 罗 去 
单元 ， 泻 染 时 间 往往 在 数 分 钟 以 上 。 所 以 基于 该 类 应 用 的 蒙特 ccr 两 部 分 组 成 . 
卡 罗 去 噪 研究 ， 采 用 CPU 和 GPU 均 可 满足 要 求 ， 对 响应 时 长 的 
要 求 在 数秒 内 即 可 接受 。 对 于 实时 环境 光 遮 蔽 计算 ， 由 于 仅 在 T-T, +T, 0) 
网 体 表面 做 线 面 求 交 运算 ， 均 采用 了 GPU 作为 运算 设备 ， 一 些 基于 光线 追踪 的 蒙特 卡 罗 采 样 部 分 是 计算 机 图 形 学 泻 染 
让 型 的 处 理 方法 包括 文献 [14, 15] 。 所 以 , 针对 该 问题 的 去 噪 算 ”领域 中 一 个 被 广泛 和 深度 研究 的 方向 ， 其 主要 包含 基于 光学 规 
法 设计 的 重点 在 于 算法 的 GPU 兼容 性 以 及 实时 响应 能 力 。 基 于 则 的 光线 生成 、 用 于 线 面 求 交 的 碰撞 检测 算法 以 及 加 速 空间 查 
以 上 两 点 考量 ， 现 有 的 蒙特 卡 罗 去 噪 算法 难以 满足 本 文 应 用 场 ” 找 的 空间 划分 算法 构成 。 由 于 本 文 的 重心 在 于 提出 一 种 能 实时 
景 的 要 求 。 对 含 噪 环境 光 遮 蔽 结果 进行 去 噪 的 算法 ， 所 以 不 在 此 对 光线 追 

近年 来 ， 卷 积 神经 网 络 被 广泛 地 应 用 于 图 像 分 类 中、 目标 踪 的 计算 部 分 做 过 多 讨论 ， 使 用 了 Aila 等 人 "的 方法 和 实现 
检测 中 和 语义 分 割 三 等 计 算 机 视觉 任务 中 ， 并 取得 了 优异 的 结 。“ 作 为 本 文 光线 追踪 采样 部 分 的 实现 方法 。 接 下 来 将 对 蒙特 卡 洛 
果 。 其 中 ，Ronneberger 等 人 "提出 了 UNet 结构 并 引入 了 跳跃 。 去 噪 部 分 进行 详细 的 介绍 和 讨论 。 


连接 ,用 于 解决 图 像 区 


归 问 题 。 


卷 积 神经 网 络 与 传统 方法 相 比 ， 


具有 自动 从 数据 中 获取 特征 和 先 验 以 及 共享 权重 等 特点 ， 使 其 


有 高 


效 性 。 另 外 ， 


基于 GPU BASEL 


经 网 络 算法 和 框架 


外 设计 已 经 较为 成 熟 ， 能 够 在 GPU 中 进行 端 到 端的 计算 。 如 果 


能 够 设计 一 


中 ， 即 


EF 
PE 
法 以 低 采 样 


种 高 效 的 卷 积 


能 够 使 得 问题 得 到 解决 。 


率 下 基 


神经 网 络 


对 以 上 存在 问题 和 观察 ， 本 文 提 
去 噪 算法 ， 对 环境 光 遮 蔽 的 实时 计算 问题 进行 处 理 。 


并 将 其 引入 到 蒙特 卡 洛 去 噪 


出 了 一 种 实时 的 蒙特 卡 


方 


于 光线 追踪 方法 的 环境 光 遮 蔽 计算 结果 为 输 


201804.02134v1 


chinaXiv 


录用 稿 


xod 


REFF AR 


IRERE R 


图 1 


2 ”蒙特 卡 罗 去 噪 算法 


2.1 问题 定义 


法 流程 


蒙特 卡 罗 去 噪 拟 解决 的 问题 具 


了 如 下 定义 : 


0, - arg min (c. e (X, :0)) (2) 
其 中 : X,-les fl. Cp 为 低频 采样 下 的 泻 染 和 计算 结果 ，fp 为 
对 应 的 用 于 辅助 求解 的 额外 信息 ， 通 常 使 用 深度 或 者 表面 法 向 


EF, Xp 为 算法 的 输入 ，8(X :9) 为 一 个 映射 函数 ，6 为 该 函 
数 的 参数 ;zy 为 对 应 的 真实 值 。 该 问题 通过 提出 相应 的 映射 函 


数 和 函数 对 应 的 参数 从 而 最 小 化 误差 ， 对 问题 进行 处 理 。 
时 无 法 获得 ,一 种 常见 的 方法 是 使 用 一 种 或 


Jb, Cp 在 实际 使 / 


多 种 的 滤波 操作 替代 映射 函数 ; 另外 一 种 方法 是 
了 学 习 ， 最 小 化 映射 函数 在 NN 个 样本 中 的 误差 。 如 果 该 


本 中 进 和 


显然 


在 N 个 训练 样 


输入 样本 能 够 覆盖 实际 使 | 
为 


5 1&5 
Cae mn J l(c.g(X,:0)) 
i=l 


在 本 文中 
成 了 由 大 量 
使 用 了 深度 图 
2.2 卷 积 神经 网 络 结构 设计 和 优化 


si FH 


设计 的 卷 积 神经 网 络 总 体 结构 如 


的 设计 和 


TES 


的 介绍 。 


时 的 样本 空间 ， 该 优 


了 卷 积 神经 网 络 对 问题 进行 把 
仿真 场景 构成 的 训练 样本 对 网 络 进行 训练 。 另 外 ， 
像 作为 额外 特征 对 去 噪 过 程 进行 


化 函数 可 转换 


(3) 


合 。 同 时 ， 生 


Bh. 


图 2 Bp. F FRX 


D 自动 编码 器 


自动 编码 器 是 一 种 常 | 


] 于 求解 图 


问题 的 网 络 设计 结构 。 其 典型 


的 结构 如 图 所 示 。 结 构 通常 
码 器 、 特 征 提 取 以 及 解码 器 三 个 部 分 组 成 。 E 


首先 ， 输 入 


通过 一 个 编码 器 ， 该 结构 通常 


数 个 编码 单元 构成 。 在 编码 过 


程 中 ， 特 征 图 的 尺寸 缩 


从 局 部 到 全 局 特征 的 抽取 。 在 通过 编码 器 后 ，4 


续 的 特征 提取 阶段 。 该 


不 变 , 通过 连续 的 卷 积 操作 在 全 
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Chinaxiy 合 人 
Jnd, i 基于 郑 积 神经 网 络 的 实时 环境 光 


减 ， 但 是 特征 图 的 个 数 


阶段 通常 保持 特征 


图 的 


LS 


A 


项 计算 


EB 


兽 加 ， 从 而 实现 
寺 征 图 将 进入 连 
尺寸 和 通道 数量 


局 尺度 对 特征 进行 加 强 和 提取 。 


通过 解码 单元 后 ， 尺 寸 


在 解码 过 程 中 ， 特 征 图 
减少 ， 使 得 全 局 特征 逐 


* 


步 转换 为 局 部 细节 。 


多 2 算法 网 络 总 体 结构 


2) 编码 单元 结构 


其 基本 结构 为 两 个 连续 地 
normalization)、 线 性 整流 函数 (reLU) 构成 的 小 单元 组 


本 文 使 


E d. 


曾 大 ， 通 道 数量 


的 编码 单元 结构 如 图 3 所 示 。 
批 归 一 化 (batch 


成 。 


第 一 个 小 单元 的 卷 积 采用 了 卷 积 核 大 小 为 3, 步 长 为 2, 同时 卷 


积 输 出 通道 为 输入 的 2 


倍 设置 ， 负 责 将 特征 图 


通道 增加 。 第 二 个 小 单 
为 1， 卷 积 通 道 不 变 的 
特征 提取 和 编码 。 


q 
m 
š 
m 
R 
$ 


3) 解码 单元 结构 

的 输出 以 及 同 尺度 编码 
村 征 拼接 操作 将 两 部 分 
规 一 化 和 线性 整流 函数 
N 

了 


倍 ， 同 时 输出 通道 为 


元 的 卷 积 采用 了 卷 积 核 


REIR, RIE 
大 小 为 3， 步 长 


设计 ， 负 责 在 特征 尺度 


卷 积 层 (2K,3,1) 


X3. ”编码 单元 结构 


解码 单元 的 输入 包含 


下 对 特征 图 进行 


| E f f PLC 


器 的 输出 两 部 分 构成 。 
的 输入 进行 合并 。 引 入 
等 操作 将 特征 图 的 尺度 
层 解 码 单元 输出 通道 的 


编码 阶段 相似 ， 使 用 
不 变 的 卷 积 操作 对 特征 


跳跃 连接 (H,W,K,》 


A 
id 
N 
3 
E3 
UK 
R 
3e 

P^ 


输入 (H,W,Ki) 


进行 解码 操作 。 具 体 结 


图 4 解码 单元 结构 


首先 ， 通 过 一 个 
了 由 反 卷 积 、 批 
兽 加 到 原来 的 2 
1/2。 最 后 ， 与 


个 卷 积 核 为 3， 步 长 为 1 且 卷 积 通道 


构 如 图 


4 所 示 。 


201804.02134v1 


chinaXiv 


合作 | 


Chi 
PPR D Ee 环境 光 
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录用 六 dens, 
为 了 进一步 的 优化 网 络 计算 效率 ， 提 升 计算 速度 ， 本 文 还 “每 个 场景 ， 从 其 推荐 的 视角 中 选择 得 分 最 高 的 约 30 个 视点 进 
提出 了 双 路 独立 编码 和 选择 跳跃 连接 两 种 改进 思想 。 行 泻 染 。 对 于 环境 光 喧 蔽 结果 ， 以 SPP (sample per pixel, 
a) 双 路 独立 编码 。 对 于 该 问题 ， 卷 积 神经 网 络 需要 同时 接 CARRE 4 和 512 注 染 ， 分 别 作为 训练 的 含 噶 声 的 环境 光 
受 含 咒 采 样 图 像 和 深度 图 像 作为 输入 。 常 用 的 处 理 办 法 是 将 两 。 并 融 结 玉 和 无 红 声 的 本 征 信 。 同 时 ， 相 应 的 注 染 相同 视点 对 应 
张 输入 图 像 进行 拼接 ， 通 过 一 个 共同 的 编码 器 结构 。 由 于 环境 VEERE. AER TARER T 800 PR, JT T 500 
光 迹 赦 癸 量 了 物体 来 而 的 局 部 可 见 性 ， 所 以 过 于 细节 的 部 分 并 。 “个 生成 训练 所 用 的 数据 ， 剩 下 300 左右 的 场景 则 作为 测试 和 评 
不 能 家 接 决 定 环 境 光 迹 此 的 最 终结 果 、 基 二 以 上 考 碟 ， 提 出 了 估 结 果 所 用 的 数据 。 这样， 训练 样 本 共计 46 000 左右 ， 测 试 样 
合 噪 图像 和 深度 图 像 独立 编码 的 结构 。 通 过 独立 编码 ， 在 细节 。 相约 为 8 000. 
部 分 采用 了 独立 的 编码 器 ， 在 包含 了 足够 局 部 特征 时 对 两 路 特 
征 进行 合并 ， 随 后 进行 特征 提取 和 解码 操作 。 双 路 独立 编码 使 ” “ 。 实验 与 结果 分 析 
得 单个 分 支 的 通道 数量 变 为 以 前 的 1/2， 计 算 开销 仅 为 共享 编 — 3.1 ”实验 环境 和 实现 细节 
码 结构 的 1/4。 通 过 减少 细节 阶段 的 合 噪 图 像 和 深度 图 像 的 信 实验 所 用 的 硬件 环境 如 下 ， 一块 Intel i7 7700 CPU， 一 据 
息 流 动 ， 提 高 了 计算 效率 。 Nvidia GTX TITAN X 图 形 加 速 卡 ， 主 机 内 存 128 GB。 
b) 选择 跳跃 连接 。 跳 跃 连接 由 Ronneberger 等 人 "" 提 出 ， WIS EA A A A A Ma 
R—REHHTARBLASIHAEHIDULEBUS. ROETE PATBIRARHT AdaDelta 算法 。 在 训练 时 每 个 先 代 包 合 
征 尺度 的 编码 器 输出 与 解码 器 输入 相连 ， 使 得 编码 阶段 的 信息 100 张 训练 样本 , 共计 训练 了 100 000 次 迭代 。 整个 训练 过 程 需 
能 够 直接 传递 到 解码 阶段 ， 减 小 了 信息 的 损失 ， 提 升 了 回归 精 要约 15 个 小 时 ， 大 约 需要 3 GB 显存 。 对 于 ， 所 有 的 算法 ， 在 
度 。 一 种 常见 和 简单 的 处 理 方法 是 将 所 有 编码 器 的 特征 进行 拼 “本 文生 成 的 测试 数据 集中 进行 对 比 和 验证 。 
术 后 直 接 作为 解 友 器 的 输入 。 考 虑 到 算法 输入 中 合 只 图像 与 输 7 ERMEER 
出 结果 的 下 全 度 远 高 于 深度 图 像 与 输出 结果 问 的 相关 性 ， 本 文 SAANA ER AAAA TRIER, RUE 
提出 了 一 种 选择 跳跃 连接 方法 ， 即 仅 将 含 噪 图 像 分 支 的 编码 器 结果 如 表 1 所 未 。 接 下 来 将 就 各 项 进行 具体 分 析 。 
与 解码 器 进行 跳跃 连接 。 该 方法 减少 了 解码 阶段 输入 通道 的 数 表 1 郑 积 神经 网 络 不 同 设计 估计 误差 对 比 
量 ， 使 得 反 卷 积 操作 的 计算 量 减少 了 1/3， 提 高 了 计算 效率 。 — UM 
23 损失 函数 本 文 方法 +MAE 0.401 0.71 
使 用 卷 积 神经 网 络 处 理 图 像 回 归 问 题 。 常见 的 损失 函数 为 
MSE (mean square error, 平均 平方 误差 )。Zhao 5E AP E HL, 本 文 方法 +MSE 0.455 0.71 
在 卷 积 神经 网 络 处 理 图 像 去 噪 问题 中 ， 即 使 使 用 MSE 作为 评价 本 文 方法 +SSIM 0.413 0.71 
函数 ,MSE 损 失 函 数 的 回归 精度 低 于 MAECnean average error, 
"-— 本 文 方法 + 无 深度 图 像 0.486 0.70 

平均 均值 误差 ) 和 SSIM (structural similarity， 结 构 相 似 
度 )。 其 中 SSM 损失 函数 具有 如 下 定义 : 本 文 方法 + 卷 积 通道 增加 。 0.397 1.37 
ISSM (c. c) =1 uut aq. doin íi 本 文 方法 + 卷 积 通道 减少 0.534 0.48 
本 文 方法 + 共享 编码 器 0.398 0.93 
其 中 ， /为 均值 ，o 为 方差 ; 特别 地 ，ca 代表 真实 值 = 和 预测 e un " 


值 < 的 协 方差 C1 和 
使 用 时 将 图 像 分 割 为 
各 自 的 误差 ， 最 后 取 
探究 不 同 损失 函数 在 


KI 


O 为 常数 ， 用 于 维持 数值 稳定 。 通 常 ， 在 
大 小 相等 的 数 个 小 块 ， 每 个 小 块 分 别 计算 
算术 平均 作为 总 的 预测 误差 。 为 了 进一步 
蒙特 卡 洛 去 噪 问题 中 的 性 质 ， 本 文 分 别 使 


1 了 三 种 不 同 的 损失 
行 了 比较 。 
2.4 


ue 


卷 积 神经 网 络 的 
为 了 生成 所 需 数 据 ， 


函数 对 网 络 进行 训练 ， 并 且 对 最 终结 果 进 


训练 /测试 数据 生成 


训练 需要 大 量 的 标注 数据 作为 训练 样本 。 


1) RACER BON ACE 


RU, 
J 


本 文选 择 了 从 仿真 场景 数据 集中 泻 染 环境 


光 遮 蔽 结果 和 深度 


结果 的 方法 进行 数 


据 生 成 。 Song 等 人 “是 一 


个 包含 约 50 000 Æ 


右 仿 真 室 内 场景 的 三 维 模型 数据 集 。 对 于 


向 ”在 训练 时 ， 分 别 使 月 


HY MSE、 


MAE 以 及 SSIM 三 种 损失 函数 ， 其 结果 如 表 1 中 前 三 项 所 示 。 其 
中 ,MAE 作为 损失 函数 的 结果 具有 最 好 的 数值 结果 , 其 次 是 SSIM, 
最 后 是 MSE。 值 得 注意 的 是 ， 一 般 认 为 相同 的 损失 函数 和 评价 
函数 能 够 取得 最 一 致 的 结果 。 本 文采 用 了 MSE 作为 评价 函数 ， 
然而 MSE 作为 损失 函数 的 结果 却 并 不 如 MAE 和 SSIM, 说 明 通 过 
深度 学 习 求解 蒙特 卡 罗 去 噪 问题 与 传统 方法 存在 一 定 的 区 别 。 
T MAE 具有 最 好 的 结果 ， 本 文 其 他 网 络 均 采用 了 MAE 作为 训 
练 的 目标 损失 函数 。 
20 深度 图 像 对 结果 的 影响 “蒙特 卡 罗 去 噪 问题 中 , 使 用 额 


题 具 有 重要 的 帮助 。 MON icing 
式 图 取得 更 好 的 结果 。 表 1 中 天 
的 影响 。 TA 
| 络 将 其 编码 器 的 卷 积 


量变 为 原来 的 


宋 度 图 像 的 引入 身 a 证 明了 
息 对 基于 深度 学 习 的 蒙特 卡 洛 去 噪 疙 


量 对 结果 的 影响 — 2E 


的 数量 决定 了 


dr, 


结果 为 输入 , 输出 的 数值 误差 与 SPP 64 的 结果 相近 ， 


A, 


Chi 
NA 环境 光 


的 回归 精度 。 与 基于 屏幕 空间 的 方法 相 比 较 ， 显 著 地 
时 间 上 比较 ， 本 文 方法 包含 
EXHI IR] CO. 71 ms), 
满足 了 实时 运算 的 需要 ， 而 相 
同 精度 的 SPP 64 的 光线 追踪 算法 帧 率 仅 为 20 帧 左右 。 男 一 方 


算 精 度 和 准确 度 。 从 处 理 
泻 染 时 间 (2. 78 ms) 和 卷 积 
能 达到 每 秒 数 百 帧 的 处 理 速度 


E "nov 


具有 更 


以 合 能 力 和 更 大 的 计算 开销 ， 较 小 的 卷 积 
ee ea dt 


道 增加 项 ) 时 对 结果 


| we 
拟 解决 问 


d od. 
职 通道 为 8 的 情况 ,本 文 设 计 精 度 下 降 并 不 明显 ， 
的 选取 为 4 能 够 有 效 地 3 


但 是 计算 更 加 高 效 。 故 本 文通 道 


3) 双 路 独立 编码 对 
a E ml ne 


度 图 像 和 含 噪 图 


目 分 别 为 2 〈 表 中 卷 积 通道 8( 表 中 
的 影响 。 相 比 与 卷 积 p 
定 的 计算 效 


R 


衡 了 


量 ， 降 低 了 计算 开销 。 
的 网 络 进行 了 对 比 ， os 3 
像 进行 拼接 ， 同 时 将 共享 编码 
在 数值 误差 上 ， 两 种 网 络 


IE 
像 和 含 噪 图 
调整 为 独立 编码 器 
AESA, 
编码 具有 更 优 的 结果 ， 证 
立 编码 结构 在 解决 该 问题 上 的 有 效 性 。 
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影响 ”在 网 络 结构 设计 


但 是 


明了 双 路 独 


FP, 本文 


chinaXiv 


ARB "— TER. 
在 此 ， 本 文 亦 讨 论 了 同时 将 两 路 编码 器 和 解码 器 进行 连接 的 情 
粮 跃 连接 项 所 示 。 本 文 设计 结构 与 全 跳跃 
司 的 计算 精度 ， 同 时 计算 速度 更 快 。 本 


面 , 虽然 常见 的 基于 屏幕 空间 


UB Sie 
是 高 了 计 
氏 频 结 


FH 
N 


jk 


的 算法 能 够 达到 更 高 的 处 理 速度 ， 


标 


体 


但 是 每 秒 数 百 帧 的 情况 下 ， 人 性 能 已 经 不 在 是 算法 追求 的 唯一 
准 ， 精 度 的 提升 反而 更 加 重 
表 2 不 同方 法 数值 误差 和 计算 性 能 对 比 
方法 MSE/103 计算 时 间 /ms 
光线 追踪 SPP4 2.78 
光线 追踪 SPP16 0.734 11.09 
光线 追踪 SPP64 0.269 43.97 
SSAO+ SPP 16 0.97 
HBAO SPP 64 1.34 
本 文 方法 3.49 (2.78*0.71) 
3.3.2 视觉 结果 对 比 
同时 ， TE 值 /本 文 方法 和 基于 
幕 空 间 的 HBAO 和 SSAO 如 图 5 所 示 。 
显然 地 ， 本 文 方法 总 体 上 具有 更 加 准确 的 估计 精度 。 
也 分 析 ， 本 文 方法 在 果盘 〈 图 5 中 蓝 色 方 框 所 示 ， 见 电子 版 )、 


窗帘 (图 5 中 紫色 方 框 所 示 ) 等 几何 


结构 较为 复杂 的 区 域 能 


够 


较为 准确 地 估计 局 部 环境 光 遮 蔽 情况 ， 而 对 比方 法 存在 着 估计 


不 准确 等 情况 。 另 外 ， 在 一 些 细 
手 ( 图 5 Zr er ro d 


等 处 ， 对 比方 法 难以 准 


于 像 ， 所 以 在 该 情况 下 


3.3 对比 实验 结果 和 分 析 


间 的 耦合 程度 远 远 高 于 深 
度 图 像 的 跳跃 连接 对 于 结果 提 
数量 使 得 计算 效率 下 降 。 


也 对 本 文 方法 进行 验证 ， 


有 代表 


性 的 环境 光 遮 蔽 算法 进 4 
法 ， 分 别 选 取 了 SPP Csample 


3.3.1 数值 误差 对 比 

首先 ， 本文 从 数据 上 对 比 了 以 上 方法 ,选择 了 MSE 以 及 单 
上 理 时 间 两 项 指标 对 算法 的 性 能 进行 衡量 
精度 上 比较 ， 本 文 方法 以 SPP 4 次 的 低 采 样 光线 追踪 计算 


MSS 
b 
= 


E TOCAOBERI 
ixel， 每 像素 采样 率 ) 为 
。 随 后 ， 选 取 了 HBAO 和 SSAO 两 
法 加 入 对 照 ， 其 
六 生成 的 测试 数 
E, 实验 将 从 数值 结果 和 视觉 结果 两 部 分 进行 比较 和 分 析 。 


如 表 2 所 示 。 从 


不 存在 此 问题 。 视 觉 对 比 证 


显 的 提高 
4 ”结束 语 


Mv 


小 的 物体 估计 中 ， 如 柜子 的 把 
的 栅栏 (图 五 中 黄色 方 
小 的 物体 ， 而 本 文 方法 则 
明了 本 文 方法 在 效果 上 具有 比较 明 


ET) 


针对 基于 屏幕 空间 的 环境 光 遮 蔽 估计 方法 存在 的 模糊 和 细 


节 丢 失 问题 ， 本 文 提出 了 一 种 将 光线 追踪 和 蒙特 卡 洛 去 噪 结合 


的 方法 ,利用 卷 积 神经 网 络 和 大 量 
实验 证 明 改 进 后 的 算法 具有 更 好 的 精度 ， 


处 理 的 要 求 和 良好 的 扩 


然而 ， 由 于 本 文 方法 使 用 
环境 光 计 算 方 法 ， 而 现 有 计算 机 


的 泻 染 管线 ， 使 得 无 法 ] 
下 一 步 的 研究 重点 。 


训练 数据 对 该 问题 进行 改进 。 
且 亦 能 够 达到 实时 


于 光线 追踪 的 蒙特 卡 洛 采 样 
和 戏 领域 均 使 用 了 基于 光 
应 用 在 计算 机 游戏 领域 ， 这 是 本 文 


化 
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